iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 2
2

ELK 是三個開源項目的首字母縮寫:

  • Elasticsearch 是一個搜索和分析引擎
  • Logstash 是服務器端數據處理管道,能夠同時從多個來源採集數據,轉換數據,然後將數據發送到諸如 Elasticsearch 等「存儲庫」中
  • Kibana 則可以讓用戶在 Elasticsearch 中使用圖形和圖表對數據進行可視化

後來衍生出來的Beats(輕量型數據採集器),包含很多個別採集器
beats

也可以參考社區開源的Beats
https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html
如果這些沒有你要的還可以自己用libbeat寫個Beat

可能會看到有用Fluentd取代Logstash變成EFK
或是用Fluent-bit取代Filebeat的


早期架構 logstash作為log收集,並對數據進行過濾,格式化處理,然後交由Elasticsearch存儲,kibana對log進行可視化處理。
architectureold


後面隨著Filebeat的推出改變了整個架構
Filebeat是一種輕量級的log採集器,其不佔用系統資源,Filebeat將收集到的數據發送給Logstash解析過濾,之後將其發送到Elasticsearch存儲,kibana對log進行可視化處理。
通常會在Filebeat跟logstash中間增加一個消息隊列(redis,kafka...)來解耦
architecturenew


上一篇
Day1-我們需要Log
下一篇
Day3-Elastic cloud部署 VS Elasticsearch部署 (一)
系列文
Elastic Stack 是一把梭,用起來再說!!!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言